4. Métodos de evaluación
Para valorar y verificar que los modelos tienen un resultado óptimo, se hace necesaria un proceso de evaluación cuya finalidad es detectar errores para mejorar el model. Encontramos que las dificultades en la evaluación son debidas a varios puntos:
. No existe un único resumen válido para un texto.
. Lenguaje natural producido por una máquina
. Mayor número de personas juzgando incrementa el coste de evaluar.
. Resumir conlleva compresión(reducción de tamaño) y se necasita evaluar resumenes de distintos tamaños.
. Legibilidad (puede no tener relación con la calidad del resumen )
En relación con las expectativas de las tareas:
Respuesta a una pregunta concreta
Nueva información respecto a los documentos previos
Con respecto a un tema concreto (Evento, Persona…)
Diferenciar dos métodos para la evaluación de resumenes automáticos Intrínsecos y extrinsecos.
Métodos de evaluación intrínsecos
Valoran la calidad del resumén en legibilidad,comprensión, acrónimos, anáforas, integridad de la estructura, gramaticalidad, esrilo impersonal. Valoran la informatividad. Información que contiene respecto a un resumen ideal e con respecto al texto original.
Métodos de evaluación extrínsecos
Evaluan el uso del resumen en otra tarea:
-Encontrar documentos relevantes en una colección
-Decisión tomada leyendo el resumen o el texto original
-Sistemas de recuperación de información
-Contenidos páginas Web (buscadores)
Corpus de evaluación
Es la interfaz para indicar lo relevante que es una oración en el texto. Se utilizan sistemas de confección de un corpus de evaluación de resumenes.
Ejemplo:
Proyecto Hermes:
Hiperlink http://ima.udg.es/~mfuentes/cgi-bin/instruc.html